Il castello di Solferino si trova nella parte alta del paese, ai piedi della Rocca, e con essa costituisce oggi il nucleo più antico del borgo. La costruzione del castello si fa risalire al tempo di Orazio Gonzaga, il quale, tra il 1570 e il 1585, fece edificare la sua dimora/castello su quello che già doveva essere un complesso di opere difensive di origine medioevale comprendente la Rocca, posta in cima alla collina, e alcuni edifici che insieme costituivano il “castrum Solferini”. Il progetto di Orazio Gonzaga comportò l’abbattimento di tutti gli edifici esistenti ai piedi della Rocca, lo spianamento della sommità della collina e l’ampliamento della superficie utilizzabile tramite la costruzione di una muraglia a sostegno di un terrapieno. Il castello, a pianta rettangolare, risultava chiuso su tutti e quattro i lati. Su quello nord occidentale, dove era situato un ponte levatoio, in origine unico ingresso, sorgevano il posto di guardia, i locali per i soldati, la cancelleria e la loggia. Il tutto fortificato da un fossato e una muraglia esterna. Il lato sud- orientale, che dava verso la Rocca, era occupato da stalle, cantine e dalla torre di guardia. Dopo il 1859, su questo lato venne ricavata una seconda apertura. Il lato lungo di nord-est, che era stato lasciato quasi completamente libero per permettere la visuale dell’ampio panorama, era occupato solo da cantine, portici e una bassa muraglia. Il lato sud-ovest invece era occupato per la prima metà circa dalla residenza signorile e il resto da abitazioni di privati, una parte delle quali cedute dagli stessi ad Orazio Gonzaga. Questo lato, maggiormente esposto a pericoli, era stato fortificato da una cortina merlata. Del castello cinquecentesco, probabilmente progettato da Pompeo Pedemonte, sono sopravvissuti al tempo e soprattutto alle due battaglie del 1796 ( Battaglia di Castiglione) e del 1859 (Battaglia di Solferino e San Martino) soltanto la Chiesa di San Nicola, che ha subito diversi rifacimenti nei secoli, e la Torre di Guardia, posta all’angolo destro del fronte meridionale. La torre, che termina con una cupola, è considerata la minore e la sola sopravvissuta di un probabile complesso di quattro torri, poste a sicurezza dell’intera costruzione. La torre, dotata di orologio, doveva servire con ogni probabilità anche da campanile alla vicina chiesa di San Nicola. Era posta a controllo della via e del borgo sottostante.